1b3d529bb93e86ea1a33340f9870d551454d3f1b
base v6

 

challenge
Punctuation prediction from conversational language
submitter
Oskar Bujacz
submitted
2023-03-13 21:11:17.298833 UTC
file basename
out

test-B / 82f9d579a6f43ffc2050401802a88afef658534d
Metric Score
Weighted-F1 83.30
Hyphens-F1 100.00
Comma-F1 82.83
Ellipsis-F1 60.46
Fullstop-F1 92.59
QMark-F1 80.10
Colon-F1 100.00
Excl-F1 0.00

test-A / bd17e1d3d62cc544b4bfed0358f254df27765dbd
Metric Score
Weighted-F1 79.24
Hyphens-F1 100.00
Comma-F1 80.75
Ellipsis-F1 50.75
Fullstop-F1 92.38
QMark-F1 85.45
Colon-F1 100.00
Excl-F1 6.45

dev-0 / fbfeb291a141917710a33a2213b099ee0959473d
Metric Score
Weighted-F1 85.73
Hyphens-F1 100.00
Comma-F1 86.38
Ellipsis-F1 43.41
Fullstop-F1 94.56
QMark-F1 90.12
Colon-F1 100.00
Excl-F1 0.00

worst items

note: the gold standard is taken from the challenge
# input expected output actual output test-B QMark-F1
1 audio/cbiz_tc_557.wav af63e562-a918-42cd-a6b7-3f7f7c0111fb Mhm:128910-128970 B-QMARK O 0.00
2 audio/cbiz_tc_557.wav af63e562-a918-42cd-a6b7-3f7f7c0111fb Mhm:202080-202110 B-QMARK O 0.00
3 audio/cbiz_tc_26.wav 597f8543-06b5-4d46-b85c-cd8f43df2264 Muszę:197700-197850 tylko:197910-198120 mam:198210-198300 tylko:198360-198510 możl… O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O 0.00
4 audio/cbiz_tc_26.wav 597f8543-06b5-4d46-b85c-cd8f43df2264 w:219930-219930 tej:219990-220080 ciemności:220110-220620 dopóki:220680-220950 nie… O O O O O B-QMARK O O O O O O O O O O O O 0.00
5 audio/cbiz_tc_26.wav a6c94040-593e-4280-8cbf-fb8fb1360e44 Tak:53790-53910 To:54000-54030 poproszę:54120-54480 B-QMARK O O O O O 0.00
6 audio/cbiz_tc_41.wav 1f0220c3-4246-4648-bbe4-53fcc8fe5318 Tylko:135840-136020 proszę:136110-136260 powiedzieć:136350-136680 Rozumiem:136830-… O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O 0.00
7 audio/cbiz_tc_56.wav 1b68cc28-468b-45e7-8d07-41101491b69e Ha:154800-154800 B-QMARK O 0.00
8 audio/cbiz_tc_56.wav b1ac6642-6e1d-4b46-83b2-710dc8ad743e Czyli:90480-90600 muszę:100500-100800 jakby:100890-101190 zalogować:101250-101550 … O O O O O B-QMARK O O O O O O 0.00
9 audio/cbiz_tc_64.wav ed4ff12e-a462-4c82-a004-38ab9fe618bf Pani:167190-167370 twierdzi:167460-167670 że:167700-167730 o:167760-167760 ile:167… O O O O O O O O O B-QMARK O O O O O O O O O O 0.00
10 audio/cbiz_tc_64.wav 9e40dee7-153b-421b-ae6e-f5504115b826 Hasło:77430-77850 B-QMARK O 0.00
11 audio/cbiz_tc_26.wav 597f8543-06b5-4d46-b85c-cd8f43df2264 Cztery:94770-95010 Ale:95100-95190 dlaczego:95250-95520 aż:95580-95610 tak:95700-9… O O O O O B-QMARK O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O B-QMARK O O O O O B-QMARK 50.00
12 audio/cbiz_tc_26.wav 597f8543-06b5-4d46-b85c-cd8f43df2264 Jakie:145620-145800 odsetki:145860-146280 Przecież:146340-146610 ja:146670-146700 … O B-QMARK O O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O B-QMARK O O O O O O O 66.67
13 audio/cbiz_tc_41.wav 1f0220c3-4246-4648-bbe4-53fcc8fe5318 Dziękuję:44370-44700 pani:44760-44910 bardzo:44970-45300 I:45420-45510 adres:45600… O O O O O O O O O O O O B-QMARK O B-QMARK O O O O O O O O O O O O B-QMARK O O 66.67
14 audio/cbiz_tc_41.wav 1f0220c3-4246-4648-bbe4-53fcc8fe5318 czwartego:74130-74610 maja:74760-75030 i:75750-75750 pani:75900-76110 mówi:76350-7… O O O O O O O O O O B-QMARK O O O B-QMARK O O O O O O O O O O B-QMARK O O O O 66.67
15 audio/cbiz_tc_64.wav 9e40dee7-153b-421b-ae6e-f5504115b826 To:77970-78030 jest:78330-78630 takie:91020-91410 cyfrowe:91650-92790 tak:92910-93… O O O O B-QMARK O O B-QMARK O O O O B-QMARK O O O 66.67
16 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Kłaniam:10320-10560 się:10680-10710 Dzień:10770-10860 dobry:10920-11100 Rafał:112… O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O 100.00
17 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Czterdzieści:31920-32370 siedem:32430-32670 O O O O 100.00
18 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Mhm:50580-50610 O O 100.00
19 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Tak:52620-52710 O O 100.00
20 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Już:58290-58440 momencik:58620-59040 Siedem:60270-60480 trzy:60630-60810 zero:617… O O O O O O O O O O O O 100.00
21 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Dwa:64110-64260 cztery:64290-64620 O O O O 100.00
22 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Dwanaście:66390-66930 Trzysta:67980-68310 czterdzieści:68370-68820 pięć:68880-690… O O O O O O O O 100.00
23 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Wie:119580-119670 pan:119700-119760 co:119790-119880 O O O O O B-QMARK 100.00
24 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Przepraszam:120660-121020 ale:121320-121410 ale:121530-121620 czy:121740-121770 j… O O O O O O O O O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O O O O O B-QMARK 100.00
25 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Proszę:155070-155280 pana:155340-155460 im:155640-155730 szybciej:155790-156180 t… O O O O O O O O O O O O O O O O O O 100.00
26 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Jasne:194670-194940 O O 100.00
27 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Proszę:196770-196920 pana:196980-197100 a:197130-197130 co:197280-197340 powinien… O O O O O O O O O O O O O B-QMARK 100.00
28 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Tak:198870-199020 co:199140-199170 powinienem:199260-199560 ze:199650-199680 sobą… O O O O O O O O B-QMARK O O O O O O O O B-QMARK 100.00
29 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Tak:209400-209490 O O 100.00
30 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Proszę:231570-231720 pana:231780-231930 skąd:232050-232380 wezmę:232440-232740 te… O O O O O O B-QMARK O O O O O O B-QMARK 100.00
31 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Wie:264390-264450 pan:264510-264600 co:264720-264750 ja:264960-264990 nie:265110-… O O O O O O O O O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O O O O O B-QMARK 100.00
32 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Dyktuję:297150-297540 Raf:299220-299370 Bre:299610-299610 jak:300210-300330 Rafał… O O O O O O O O O O O O O O 100.00
33 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa @interia.pl:302610-302610 O O 100.00
34 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Jasne:302670-302700 O O 100.00
35 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Jasne:302790-303390 Proszę:347100-347340 pana:347430-347610 korzystając:347640-34… O O O O O O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O O B-QMARK 100.00
36 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Wszystko:354000-354600 rozumiem:430170-430380 Z:430410-430770 mojej:431280-431280… O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-QMARK 100.00
37 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Wszystko:441600-441720 jasne:482130-482430 Bardzo:482520-482730 dziękuję:483120-4… O O O O O O O O O O O O O O 100.00
38 audio/cbiz_tc_557.wav 10599a11-3bff-4ab0-836d-f9ed7a7cd8aa Dziękuję:483960-484140 Do:489690-489990 widzenia:490050-490110 O O O O O O 100.00
39 audio/cbiz_tc_557.wav af63e562-a918-42cd-a6b7-3f7f7c0111fb Dzień:7440-7500 dobry:7560-7740 Andrzej:7830-8040 Murawa:8130-8430 W:8460-8460 cz… O O O O O O O B-QMARK O O O O O O O B-QMARK 100.00
40 audio/cbiz_tc_557.wav af63e562-a918-42cd-a6b7-3f7f7c0111fb Oczywiście:18450-18810 jak:18840-18930 najbardziej:18990-19380 Poproszę:20130-204… O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-QMARK 100.00

Compare with other submission